L I Q u e 



F R A N C A I S 




PCT/FR03 / O 23 7 1 



INSTITUT 
NATIONAL l>B 

LA pROPRiere 

INDDSTRIELLB 




BREVET D'INVENTION 



CERTIFICAT D'UTILITE - CERTIFICAT D'ADDITION 



COPIE OFFICIELLE 



Le DIrecteur general de I'lnstitut national de la propriete 
industrielle certifie que le document cl-annexe est la copie 
certifiee conforme d'une demande de titre de propriete 
industrielle deposee a I'lnstitut. 



Fait ^ Paris, le . 



@ 1 AOUT 2003 



DOCUMENT DE PBIOBTI* 

Pr£ SENTfe OU TRANSMIS 
CONFORMfeMENT A LA 
BiGLE17.1.a)OUb) 



i 



Pour le Directeur g§n^l de i'lnstitut 
national de la propri^t^ industrielle 
Lb Clief du D^partement des brevets 




MartlnePLANCHE 




INDUSTRIELLE vww.lnpLfr 



I 



ler aepoi 



26 bis, rue dc Saint PtterSbourg 
75800 Paris Cedex 08 
T«l6phone:01S3 04 



BREVET AaVENTION 
CERTIFICAT D'UTILITE: 

Code de la propri^t^ inteilectuelle • Lhrre VI 
REQUITE EN DtLIVRANCE 1/2 



N* 11354*01 




142 9486 54 



DB540W/190800 



LIEU 



REMISE OES PttCES 

2 AOUT-^OS 
70 INPI PARIS 

N-D'ENREGISrTREMENT 

NATIONAL ATTRIBUE PAR L'lNPI v&.'bw^ 

DATE OEOtPOT ATTRIBUTE ^2 ftQUT 2002 

PAR L'INPI 



tmportent ! Rempfir imp6rativement la 2feme page. 

Cet imprim6 est a remplir li siblement a I'encre noire 

Eg NOM ET ADRESSE DU DEWIANDEUR OU DU MANDATAIRE 
A QUI LA CORRESPONOANCE DOIT CTRE ADRESSEE 



Vos r6firences pour ce dossier 
(fiicultatjfl IFB02CMiREP 



PONTET ALLANO & ASSOCEESSELARL 

25, rue Jean Rostand 

PARC CLUB ORS A Y UNTVERSITE 

F-91893 OKSAY CEDEX 

FRANCE 



Confirmation d'un d6pdt par t6l6cople □ attribue par riNPI a la t6l6copie 



@ NATURE DELADEWANDE 



Demande de brevet 



Demande de certificat d'utlliti 



Demande divisionnaire 

Demande de brevet initiale 
OU demmide de certificat d'utiliti initiale 



Transformation d'une demande de 
brevet europ6en Denmnds de brsvel initiaU 



Cochez rune des 4 cases suivantes 



m 



□ 



Date 
Date 



I L 



□ 



Date 



J L 



I TITRE DE L'lNVENTION (200 caractdres ou espaces maximum) 

Proc6d6 de replication d'une application logidelle dans une architecture multi-ordinateurs, proc6d^ pour 
fonctionnement mettant en oeuvre ce pioc6de de rfiplicatiorv et systdme muld-ordmateurs ainsi 6quip6. 



i^aliser une continuity de 



^ r 

DECLARATION DE PRIORITE: 

OU REQUETE DU BENEFICE DE 

LA DATE DE DEpOT D'UNE 

DEMANDE ANTERIEURE FRANQAISE 


Pays OU organisation 
Date 

Pays ou organisation 

Date \ f / 1 

Pays ou organisation 

Date 1 1 1 1 

1 1 s'il y a d'autres priorit^s, cochez la case et utilises rimprlm^ «Sultei> 


^ DEMANDEUR 


n SMI y a d'autres demandeurs, cochez la case et uttllsez rimprlm6 aSuItea 


Nom OU denomination soclale 


OM Al TECHNOIXDGY 


Pr§noms 




Forme iuridique 


Sodfetfe Anonyme ^ — 


N" SIREN 


1 \ — 


CodeAPE-NAF 


1 • ♦ • 1 


Adresse 


Rue 


42, avenue du G^n^ral De Croutte 


Code postal et vllle 


31100 ITOUUDUSE 


Pays 




FRANCE 


Nationality 


Franicaise 


N* de telephone tfaadtatifi 




N** de t§i4copie tfttaiMift 





Adresse yiectronique {facultatifi 



ler depdt 



BREVET^NVENTiON 

CERTIFICAT D'UTILIT^ 




REQU^E EN D^LIVRANCE 2/2 



REMISE OES PiteS ^ 

n ATP ^ Mortms 

2 AOUT"2m2 
7(i INPI PARIS 

rr E>*ENRE6ISTR£AAENT 
NATIONAL ATTRIBU£ PAR t'INPI 



UEU 



OB94.OW/19060O 



Vo5 r6f4rences pour ce dossier : 

tfttcultatifi 


IFB02CMIREP 


MANDATAIRE ^ 


^rv6dnNPl 1 


Horn 




Pr6nom 




Cabinet ou SoclSt^ 


PONTET ALLANO & Associ^s 


N *de pouvoir permanent et/ou 
de lien contractuel 




Adresse 


Rue 


25 rue Jean Rostazul 

Pare Qub Orsay University 


Code postal et vllle 


91893 ORSAY Cedex 


de t§l6phone (facuUaHfi 


016933 2121 


de tSlecopie tfacultatifi 


01694195 88 


Adresse 6iectfonique ^adtatifi 




INVENTEUR ( 


son 






Les Inventeurs 


t les demandeurs 


□ Oui 

Non Dans ce cas fournir une designation d'inventeurCs) s^par^e 


RAPPORT DE RECHERCHE 


Untquement pour une demande de brevet (y compris division et transformation) 


^ablissement immddiat 
ou ^ablissement differs 






Paiement ^cheionn^ de la redevance 


P< 

u 
n 


element en deux versements, uniquement pour ies personnes physiques 

Oui 
Non 


REDUCTION DU TAUX 
DES REDEVANCES 


Uniquement pour les personnes physiques 

1 1 Requise pour fa premiere fois pour cette invention (joindnunazrisde non-imposition) 

1 1 Requise anterieurement a ce depot Qohidre um copie de la didmn d'admission 
pour cette invention ou indiquer sa rifirerwe) : 




Si V0U5 avez d^sd IMmprim§ aSuite)>, 
Indiquez le nombre de pages jointes 











SIGNATURE INbEMANDEUR 

OU DU MANDATAIRE 

(Norn et quality du signataire) 



Sylvain ALLANO 
CPI 96 03£ 




OU DE L'INPI 



L MARIELLO 



La loi n'^ys-l? du 6 ijj^ier 1978 relative d I'informatfque, aux fichiers et aux libertds s'applique aux riponses faites h ce formulaire. 
Elle garantit un droit d'accds et de rectification pour les donn^es vous concemant aupr&s de I'lNPI. 



ler aepoi 




icProcede de replication d'une application logicielle dans une 

architecture multi-ordinateurs, procede pour realiser une 
continuite de f onctionnement raettant en CEUvre ce procede de 
replication, et systdme multi-ordinateurs ainsi 6quipe » 



La presente invention concerne un proc6d6 pour repliquer 
vine application logicielle dans xme architecture multi- 
ordinateurs (cluster) . Elle vise €galement un precede pour 
rSaliser une continuity de f onctionnement d*une application 
logicielle au sein d'un cluster d'ordinateurs, qui met en 
ceuvre le proc6de de replication selon 1' invention, ainsi 
qu'\in systeme multi-ordinateurs implementant ce procSd^ de^* 
continuity de f onctionnement • ^ 

Le domaine de 1 * invention est celui des clusters., 
d ' ordinateurs foxTties de plusieurs ordinateurs collaborant* 
entre eux. Ces clusters sont par exemple prevus pour executer" 
des applications logicielles, Ainsi, k un instant donn^, xine^. 
application est exScutSe sur I'un des ordinateurs du cluster,, 
appel6 noeud primal re ou op6rationnel (OP) , tandis que les 
autres ordinateurs du cluster sont appelSs noeuds secondaires 
ou « stand-by » (SB), dans un contexte d ' architecture 
redondante • 

Or, 1 ' exploitation de tels clusters montre que se posent 
des problemes de fiabilit^ qui peuvent Stre dus k des 
def alliances du materiel ou du systeme d' exploitation, §l des 
erreurs humaines, ou §. la d^faillance des applications elles- 
mSmes . 

Pour r^soudre ces problemes de fiabilite, il existe 
actuellement des mecanismes, dits de haute disponibilite, qui 
sont mis en ceuvre sur la plupart des clusters actuels et qui 
sont bases sur un red^marrage automat ique a froid de 
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1' application sur un noeud de secours parmi I'un des noeuds 
secondaires du cluster. 

Or ces mecanismes bas§s sur un redemarrage automatique 
ne permettent pas d* assurer une continuite totale du services 
5 fourni par 1' application en cours d' execution au moment de a 
def alliance. 

En particulier, se pose le probl^me de la replication 
d'une application logicielle au sein d'une architecture 
multi-ordinateurs, cette replication devant assurer une 

10 continuite totale de service. 

Un objectif principal de la presente invention est done 
de proposer un procede pour repliquer une application 
logicielle dans une architecture raulti-ordinateurs (cluster) , 
ladite application logicielle 6tant prealablement executee 

15 sur un premier ordinateur dudit cluster constituant un ncBud 
primaire et etant destin6e ^ etre repliqu6e sur au moins un 
autre ordinateur dudit cluster constituant un nceud 
secondaire^ comprenant une replication des ressources 
associees ^ ladite application logicielle. 

20 Get objectif principal est atteint avec un tel precede 

de replication caracterise en ce qu'il comprend une mise a 
jour au fil de I'eau des ressources repliquees par un 
mecanisme d' introspection dynamique prevu pour fournir la 
structure de 1 • application k repliquer^ ainsi que le graphe 

25 dynamique des ressources et dependances mises en oeuvre. 

On peut en outre avantageusement prevoir que ce precede 
de replication comprenne en outre une creation et une 
maintenance d^un arbre de dependance, qui fourni t a chaque 
instant des informations sur les ressources qu'il est 

30 necessaire de repliquer. 

II est important de noter que dans le precede de 
replication selon 1' invention, le nombre de noeuds secondaires 
ou stand-by concernes peut etre quelconque. 
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Dans un mode de realisation prefere de 1' invention, le 
procede de replication selon 1' invention coinprend en outre un 
mecanisme dit de « point de reprise (« checkpointing ») par 
lequel les ressources ^ repliquer sont repliquees sur un ou 
plusieurs nceuds secondaires. 

Le precede de replication selon 1' invention peut 
avantageusement comprendre les trois stapes suivantes: 

- capture des ressources sur le noeud primaire/ 

- transfert par le r^seau vers un ou plusieurs ncBuds 

secondaires, 

- restauration sur le ou les nceuds secondaires. 

Le procede de replication selon 1' invention peut etre 
avantageusement mis en oeuvre pour une optimisation v. 
automat ique de ressources inf ormatiques par partage de charge A 
par repartition dynamique de processus ♦ II peut aussi etre-." 
utilise pour une maintenance non interrupti've par relgcatioii*"- 
^ la demande de processus au travers d'un reseau de^- 
ressources inf ormatiques, ou pour une preservation dLB^< 
contexte applicatif dans des applications mobiles. 

Un autre but de la presente invention est de proposer un' 
procede pour realiser une continuite de f onctionnement d'une 
application logicielle dans une architecture multi- 
ordinateurs (cluster) , cette application etant executee ^ un 
instant donne sur l*un des ordinateurs du cluster, appeie 
noeud principal ou operationnel, les autres ordinateurs dudit 
cluster etant appeles nceuds secondaires. 

Cet autre objectif est atteint avec un procede pour 
realiser une continuite de f onctionnement d'une application 
logicielle dans une architecture multi-ordinateurs (cluster) , 
cette application etant executee a un instant donne sur I'un 
des ordinateurs du cluster, appeie noeud principal, les autres 
ordinateurs dudit cluster etant appeies nceuds secondaires. 
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Suivant 1' invention, le procede comprend les Stapes 
suivantes : 

- replication de 1 ' application sur au moins des nceuds 
secondaires, de fa^on ^ realiser au moins un clone de 
ladite application, 

- raise k jour au fil de I'eau dudit ou desdits clones, et 

- en cas de detection d'une d6f alliance ou d'un 6v6nement 
affectant ledit . noeud principal, basculement de service 
vers I'un au moins desdits clones. 

Ainsi, avec le proc6d6 de realisation de continuite de 
fonctionnement selon 1' invention, il est desormais possible 
de disposer de nceuds secondaires pourvus de clones 
d' application resultant de la replication de 1 • application et 
aptes a relayer sans discontinuite cette application en cas 
15 de detection de d6f alliance ou d'6v6nement affectant le noeud 
principal . 

La replication mise en ceuvre dans le proc6d6 de 
replication selon 1' invention est avantageusement de type 
holistique. On dispose ainsi d'un clonage de 1 ' application au 
fil de I'eau, avec une mise A jour de ces clones, de fa^on 
d6terministe et complete. 

Ces clones sont dits « chauds », c'est-^-dire qu'ils 
sont la r^plique exacte de 1' application et de tout son 
contexte op^ratoire. lis sont mis ^ jour rdgulierement 
25 (p6riodiquement ou sur 6v6nements caracteristiques) . Ces 
clones contiennent toutes les ressources et informations 
requises par 1 • application pour fournir son service. 

Le proc6de de replication selon 1' invention permet en 
outre de superviser l'6tat de toutes les ressources 
n^cessaires au bon fonctionnement de 1 ' application. Quand la 
degradation r^dhibitoire de I'une d'entre elles est detect^e, 
le proc6d6 de replication selon 1' invention prevoit une 
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Election d'un clone comme nouveau primaire et lui ordonne de 
prendre la main. 

Cette election est appelee basculement et est 
transparente pour le reste du monde qui coinmunique avec 
1' application : bien que le noeud primaire soit mis hors 
service, le service fourni par 1 • application n'est pas 
interrompu car il est repris avec tout son contexte par le 
clone 61u. 

On peut ainsi garantir que tout message transmis par le 
reste du monde k 1' application sera trait6, soit par le noeud 
primaire. (pr6-basculement) , soit par le clone (post- 
basculement) . Pour ce faire, le proced6 de replication selon 
!• invention peut en outre comporter un enregistrement sur 
chaque clone (en plus du mecanisme de clonage periodique) de. 
tous les messages regus par le primaire depuis la derniere 
mis a jour des clones. Ces messages seront reinjectes dans le. 
clone elu nouveau primaire en cas de basculement. 

La replication holistique reprend des mecanismes deja-. 
mis en oeuvre dans des systemes existants de migration de^ 
process. Cependant, la conception et 1' utilisation qui en 
sont faites dans le precede de replication selon 1* invention 
different de tous les travaux ant6rieurs connus. 

Le proced6 de realisation de continuity de 
f onctionnement selon 1' invention met ainsi en ceuvre une 
replication transparente, holistique et optimisee^ dedi^e A 
la continuity de service par deiocalisation de 1' application 
et virtualisation des ressources. 

Avec ce precede, on resout plusieurs limitations des 
implementations classiques qui les rendaient inoperantes pour 
une utilisation en tolerance aux pannes au sein d'une 
architecture multi-ordinateurs en cluster, 

Une premiere limitation residait dans le probleme de 
1 ' independance entre nceud primaire et noeud secondaire. Dans 
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les systemes class iques, la replication d'une ressource d'un 
nceud primaire vers un nceud secondaire presuppose et necessite 
la presence operationnelle du nceud primaire pendant tout le 
procede. Le proc6de de replication selon 1' invention resout 
5 cette limitation, puisque le clone peut a tout instant vivre 
de fagon autonome m§me en cas de disparition du primaire. 
Cette de-correlation primaire / secondaire est un pre requis 
pour la tolerance aux pannes. 

Corame la replication impl6ment6e dans le precede de 

10 replication selon 1* invention est holistique, on capture 
1 ' integrality cohSrente de ressources asynchrones 
interdependantes . Dans les precedes de I'art anterieur, seuls 
etaient captures les etats de ressources independantes • 

Une autre limitation des precedes de 1 ' art anterieur 

15 residait dans le probleme de 1 ' intrusivite . Le precede de 
replication selon 1' invention est nen intrusif sur le code 
source : les instances anterieures n6cessitent de modifier le 
code source (ou de le concevoir explicitement) pour que les 
processus informatiques cre^s et les ressources utilis6es 

20 puissent etre migres. 

II est ^ noter que pour la mise en oeuvre du precede de 
replication selon 1' invention, on peut avantageusement 
utiliser des techniques d'ingenierie logicielle non intrusive 
dynamique, qui ont fait I'objet d'une demande de brevet 

25 publiee le 2 aoQt 2002 sous le numero FR2820221. Ces 
techniques d'ingenierie logicielle permettent de manipuler 
des applications dans leur representation binaire 
(executable) , de f agon a rendre le precede de realisation de 
continuite de f enctiennement selon 1' invention transparent 

30 pour 1' application et done generique. 

Suivant un autre aspect de 1' invention, il est 
propose un systeme multi-erdinateurs prevu pour executer sur 
au meins des ordinateurs au moins une application logicielle. 



implement ant le procede pour realiser une continuite de 
f onctionnement selon 1' invention. 

D'autres avantages et caracteristiques de 1' invention 
apparaltront a I'examen de la description detaillee d'un mode 
de mise en oeuvre nullement limitatif , et des dessins annexes 
sur lesquels : 

-la figure 1 illustre la fonction de miroir dynamique mise 
en ceuvre dans le proced6 de replication selon 
1' invention ; 

-la figure 2 illustre sch^matiquement les principes de 
replication de donn6es mis en cEUvre dans le proc6d6 de 
replication selon 1 ' invention ; 
-la figure 3 represente un exemple d' architecture 

logicielle mettant en ceuvre le procede de replication 

selon 1' invention^ pour la supervision et la detection 

de defaillance ; 
-la figure 4 illustre schematiquement ' des principes de 

supervision mis en oeuvre dans le procede de replication 

selon 1 ' invention ; 
-la figure 5 illustre schematiquement le mecanisme de 

copie sur ecriture (<c copy on write ») mis en oeuvre dans 

le precede de replication selon 1' invention ; 
-la figure 6 illustre schematiquement le mecanisme 

d' incrementation pour replication mis en ceuvre dans le 

precede de replication selon 1' invention ; et 
-la figure 7 illustre schematiquement le mecanisme de 

commutation mis en ceuvre dans le precede de replication 

selon 1' invention. 

On va d'abord decrire^ en reference aux figures 
pr6citeesr le f onctionnement du mecanisme de replication 
holistique mis en oeuvre dans le precede de replication selon 
1' invention. 
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Pour que 1' application puisse correctement tourner sur 
un nceud secondaire dans le cas d'un basculement, 11 est 
necessaire que 1' ensemble des ressources requises par cette 
application soit 6galement repliqu6 sur le noeud secondaire. 
5 Si ces ressources sont des ressources a 6tat, i.e. 

qu'elles varient au fil de 1' execution de 1 ' application et 
contribuent d son contexte global, alors leur 6tat doit 
6galement dtre capture et r6pliqu6 de fagon coh^rente. 

L' ensemble de ces ressources est d6couvert ^ 
10 1' initialisation de 1 ' application puis maintenu k jour au fil 
de I'eau par des m6canismes d» introspection dynamique qui 
permettent d'obtenir automatiquement la structure de 
1 ' application ^ proteger, ainsi que le graphe dynamique des 
ressources et dependances mises en ceuvre, 

Ces mecanismes s'appuient sur les caracteristiques 
reflexives des binaires, sur les mecanismes d' heritage des 
systemes d' exploitation et sur la surveillance, via une 
instrumentation binaire, des mecanismes - incluant les appels 
syst^me - qui contribuent k modifier I'^tat de ses 
20 ressources. 

En reference k la figure 4, dans un exeit^le de mise en 
ceuvre du proc6d6 de replication selon 1' invention, des 
pilotes (drivers) d' introspection et de surveillance assurent 
une surveillance sur tous les noeuds du cluster et 

25 transmettrent des donn^es de surveillances S la base 
d' information de gestion MIB du syst^me. Cette base MIB est 
sollicit6e k la fois dans la gestion du cluster sur le noeud 
op6rationnel pour les d4clenchements de point de reprise 
(checkpoint) et dans la gestion du cluster sur des nceuds 

30 « back-up ». La base lyilB est 6galement sollicitee par le 
gestionnaire de supervision avec une base MIB synthetique et 
est acced^e par 1' administrateur systeme auquel sont 
associees des interfaces utilisateur graphiques (GOI) . 
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Le resultat de ce travail de dfecouverte et 
d' introspection au fil de I'eau est la creation et la 
maintenance d^un « arbre de dependance qui fournit au 

precede de replication selon 1' invention a chaque instant des 
informations sur les ressources qu'il est necessaire de 
repliquer* existence de ce graphe garantit la completude et 
la coherence des clones. 

Un autre mecanisme de point de reprise 
(« checkpointing ») , mis en oeuvre dans le proc6d6 de 
realisation de continuity de f onctionnement selon 
1' invention, consiste a repliquer les ressources sur un ou 
plusieurs nceuds secondaires. Ce mecanisme de replication des 
ressources est realise en trois etapes : 

- capture des ressources sur le noeud primaire, .:t 

- transfert' par le reseau vers un ou plusieurs nceuds 

secondaires, et 

- restauration sur le ou les nceuds secondaires. 

Les ressources repliquees incluent : 4 

- la m6moire virtuelle de chaque processus concern4^ 
ainsi que sa pile d'appel, 

- des ressources syst^mes (inter process communication, 
connexion r6seau, etc.), et 

- des donn6es 6crites sur disques. 

Le mecanisme de replication des ressources assure que 
1* ensemble des ressources necessaires ^ 1' application est 
transf6r§ de fagon complete et coh6rente (d'oCi holistique) . 

La mise en ceuvre du proc^de de replication selon 
1* invention garantit que 1 * application puisse continuer de 
vivre sur le secondaire sans perdre son contexte : 
1 ' application est delocalisee, le materiel et le systeme 
d' exploitation sous-jacent sont virtualises, 1 ' application se 
comportant independamment de sa localisation physique. 
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En cas de basculement 1 * application n'est pas 
consideree comme stoppee : elle continue de tourner dans son 
contexte, raais sur d' autre ressources materielles . 

Les ressources raises en ceuvre par 1 ' application sont 
5 diverses et variees (multi process, systeme d* exploit at ion / 
etc*)* Elle vivent de fagon asynchrone, sur un environnement 
non deteinniniste. 

Le proc6de de replication selon 1' invention met en ceuvre 
un algorithme de « checkpointing » (generation de points de 
10 reprise) asynchrone : une barriere de synchronisation est 
transmise ^ toutes les ressources et le precede * de 
replication selon 1* invention garantit que la capture d'etat 
est complete et coh6rente. 

On va roaintenant decrire une technique d* optimisation 
15 mise en ceuvre dans le procede de replication selon 
1' invention. La capture deterministe et complete de I'etat de 
toutes les ressources est couteuse pour les performances du 
systeme. Or, un faible impact sur les performances de 
1* application est un pre requis pour 1' acceptabilite par le 
20 marche du produit et done in fine pour son utilite. Plusieurs 
techniques d' optimisation ont done ete congues et developp6es 
pour minimiser cet impact. 

Premierement, le point de reprise quasi synchrone est 
une optimisation des mecanismes de generation de point de 
25 reprise (checkpointing) classiques : il offre la coherence de 
capture des algorithmes synchrones,. sans pour autant 
necessiter l'arr§t total du systeme pendant la capture que 
necessitent les algorithmes asynchrones. 

La periode du point de reprise est ajustable, de sorte a 
30 optimiser le compromis entre le temps de reprise apres 
basculement (potentiellement d' autant plus long que la 
periode entre deux points de reprise est longue) et la 
quantite d' information d'etat ^ capturer et ^ transferer. 
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Par ailleurs/ le point de reprise est incremental : 
seules les differences d'etat entre deux points de reprise 
sent transmises^ comme I'^illustre I'exemple fonctionnel de la 
figure 1. Dans cet exemple^ un point de reprise incremental 
5 est effectue a partir de 1' application maitre pour obtenir 
1' application r^plique et un disque partage entre les deux 
noeuds primaire et secondaire est mis en oeuvre* 

Ainsi^ le premier point de reprise est cher en 
performance (initialisation des clones) mais les suivants 
10 sont d* impact faible. 

Le point de reprise est 6galement discriminant : 
1' analyse intelligente du graphe de dependence permet de 
limiter au strict necessaire la quantity d' information ^ 
transmettre • 

15 Enfin, des mecanismes de « Copy On Write » (copie sur 

ecriture) offerts par le systeme d' exploitation sont mis en 
oeuvre pour s6parer le temps de capture du temps de transfert, 
en reference- d la figure 5 qui illustre un exemple de mise en 
oeuvre d'un mecanisme de copie sur ecriture dans un precede de 

20 replication selon 1' invention, a la suite du declenchement 
d'un point de reprise. Dans cet exemple, le mecanisme de 
copie sur Ecriture intervient sur des blocs de donn6es 
(m6moire ou disque) pour une nouvelle reference, apres une 
requite en ecriture issue d'un Utilisateur via un process ou 

25 un i-node (noeud d' index) . Seuls les blocs de donnees modifies 
sont r6pliqu6s, comme 1' illustre la figure 6. 

On va maintenant d6crire un exemple de mise en oeuvre du 
mecanisme de generation de point de reprise quasi-synchrone 
au sein du proc6d6 de realisation de continuity de 

30 fonctionnement selon 1' invention. Ce mecanisme inclut : 

- une barri6re de synchronisation de processus (« Process 
Synchronisation Barrier » : PSB) , 
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- une gestion de ressources (« Ressource Management » : 

RM), 

- une gestion de ressources systdme (« System Resources 

Management » : (SRM) , et 

- une gestion de ressources de processus (« Process 

Resources Management » (PRM) . 

La barriere de synchronisation de processus (PSB) est un 
mecanisme permettant de synchroniser le blocage des processus 
composant une application tout en respectant la gestion des 
entrees/sorties en cours^ dans le but de pouvoir prendre a un 
instant T une "photographie" non floue de I'etat du systeme 
et de 1 • application. 

La gestion de ressources (RM) est un ensemble 
d' automates generiques permettant de mettre en oeuvre le 
sequencement des differentes phases du checkpointing vis k 
vis des differentes ressources necessaires pour repliquer une 
application d'une machine sur une autre: 

La gestion de ressources systeme (SRM) inclut des 
m§canismes permettant de g6rer les differentes routines de 
gestion des ressources syst^mes utilisees par une application 
(ensemble de processus) lors des differentes phases du 
mecanisme de generation de point de reprise. 

La gestion de ressources de processus (PRM) inclut des 
mecanismes permettant de gerer les differentes routines de 
gestion des ressources utilisees par un processus lors des 
differentes phases du mecanisme de generation de point de 
reprise. Ce code est charge dynamiquement ci I'interieur des 
processus applicatifs lors de leur lancement. 

II exist e aujourd'hui trois phases principales qui sont 
elles meme decoupees en differentes phases necessaires pour 
la captures des ressources utilisees par 1 ' application. 



La raison d'§tre de ces differentes ' sous-phases est de 
minimiser les temps de blocages applicatif li6s a la 
recuperation/restauration des differentes ressources 
applicatives et systeme ainsi que de garantir la coherence 
5 des informations sauvegard^es . 
DUMP: 
RM_PRE_DOMP 
RM_DUMP 
RM_POST__DUMP 
10 RM_ABORT_DUMP 
RESTORE: 
RM_PRE_RESTORE , 
RM_RESTORE, 
RM_POST_RESTORE , 

't 

1 5 RM_ABORT_RESTORE , 

SWITCH: 

RM_PRE_SWITCH, • ' , 

RM_SWITCH, 
RM POST SWITCH, 
2 0 RM_ABORT_S WITCH , 

On va maintenant d^crire une virtualisation des 
ressources syst^mes dans le cadre du proc6d6 de replication 
selon 1' invention. Certaines ressources systemes UNIX sont 

25 caracterisees par un identifiant unique propre ^ chaque 
machine. Ces identifiants sont stock^s sous forme de 
variables par les applications, ce qui leur permet de pouvoir 
les r§ferencer. Lors de la migration d'une application d'une 
machine k une autre la memoire des applications est 

30 int6gralement transferee, y compris les donn§es relatives aux 
ressources systemes. Pour pouvoir garantir I'unicite du 
r^ferencement des ressources systeme par une application 



1 er aepoi 
- 14 - 



META-CLUSTER met en oelavre des m6canismes de virtualisation 
de ces ressources^ permettant de maintenir des identifiants 
uniques entre les differentes machines composant un CLUSTER. 

Ces mecanismes de virtualisation sont aujourd'hui 
appliques pour les identifiants de ressources systeme 
suivants : 

- Processus 

- PIPE 

- FIFO 

- IPC System V 

- M6moires partagees 

- Semaphores 

- Message queues 

- Socket AF UNIX 

- Threads 

Les mecanismes de virtualisation assurent done I'unicite 
du referencement d'une ressource systeme au sein du cluster 
ainsi que sa translation vers une ressource systeme sur 
chaque machine, lis sont implementes sous la forme de modules 
noyau dynamiques assurant la non-pr^emptivite de requetes qui 
leurs sont faites, sur des systemes mono et multiprocesseurs, 
et avec une capacity a instrospecter les diff6rentes routines 
permettant de manipuler ces identifiants. 

A titre d'exemple non limitatif, une routine getpid est 
instr\ament6e par META lors de la prise en charge de 
1 ' application par META-CLUSTER et son utilisation par 
1 ' application retourne un CLUSTER^PID qui pourra ensuite etre 
utilise par 1' application sur toute routine prenant un PID 
comme paramStres (kill^ waitpid^ . • • ) • 

Le precede de replication selon 1' invention inclut aussi 
un module de replication de fichiers de donn6es applicatives 
entre le noeud op6rationnel et le noeud stand-by, designe sous 
le terme de CFOR (Cluster File system Optimized Replication : 
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Replication Optimisfee de systeme de Fichier pour Cluster) , en 
en reference a la figure 2, 

Le module CFOR realise ainsi les fonctions suivantes : 

a) ecriture de donnees 

b) modification du Log (journal) 

c) ordre de replication 

d) synthase construite k partir des donnees 

e) synthase de trans fert 

f) mise ^ jour du systeme de fichiers (FS) 

Le fonctionnement de ce module de replication est le 
suivant : entre chaque copie (dump) , CFOR const ruit a la 
volee un journal cumulatif et synthetique des modifications 
apportees au systeme de fichiers par les applications 
controlees par le cluster. 

Les modifications du systeme de fichier sont extraites a 
la volee par instrumentation • dans les processus applicati.fs 
des divers appels systemes: write(2), mkdir(2);. rmdir(2:)^ 
unlink (2)... Le principe consiste a ne memoriser que les 
actions sans les donnees. Ainsi si une application ecrit 2Mo 
dans un fichier, on ne memorise que Inaction "fichier, 
6criture, d^but, . fin"*, les 2Mo de donn6es ayant ete 
sauvegardes par l*OS sur le disque, il n'est pas n^cessaire 
de les dupliquer ailleurs . 

Les 6critures multiples sont synth6tis6es au fil de 
I'eau. Si une application effectue les actions suivantes: 
l.ouverture du fichier 'toto^ 

2. ecriture de 30000 octets a 1' offset 30 dans le fichier 
toto 

3. ecriture de 20000 octets a 1' offset 20 dans le fichier 

toto 

4 . f ermeture du fichier 'toto' 
Le log CFOR resultant sera: 
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•fichier toto, 20 ? 30030 

Au moment de la copie (dvimp) , les donnees structurelles 
(metadata) ainsi que le contenu des modifications sont 
enregis.tr^s dans un fichier sfepare. 
5 Ce fichier separe est transmis sur le noeud stand-by et 

son exploitation permet de synchroniser 1 ' arborescence de 
maniere ^ ce qu'elle soit strictement identique k celle du 
nceud op6rationnel au moment du dump. 

On va maintenant decrire le m^canisme de synchronisation 
10 mis en oeuvre dans le precede de replication selon 
1' invention. 

Lors de 1' apparition d'une machine SB, il faut 
synchroniser son systeme de fichier s (FS) par rapport k celui 
du noeud operationnel OP. Cette synchronisation doit se faire 

15 sans bloquer le noeud operationnel OP done elle se fait sur un 
systeme de fichiers en constante Evolution. Afin d'6viter le 
probl^me des images floues, la synchronisation se fait au 
t ravers d'un instantan^ (snapshot) du systeme de fichiers 
(file system) du nceud operationnel OP. La procedure est 

20 d6compos§e en 2 phases afin de limiter la taille du log de 
CFOR. 



1. Creation d'un instantan^ (snapshot) sur le noeud 
operationnel OP 

2 . l^re synchro avec le noeud SB 

3 . Destruction de I'instantan^ (snapshot) sur le noeud 
operationnel OP 

4. Activation du log de CFOR et creation d'un 26me 

instantane (snapshot) sur le nceud operationnel OP 
5.2eme synchronisation avec le noeud SB (elle doit etre la 
plus courte possible) . 
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6. Suppression de I'instantane (snapshot) sur le noeud 

operationnel OP, le noeud SB etant pret a recevoir un 

premiere copie (dump) totale. 
7. A la prochaine copie (dump), transfert du log de CFOR et 

mise a jour du systeme de fichiers FS du noeud SB avec les 

donn^es de CFOR 

8,le cycle normal des copie/restauration (dump/restore) est 
en place • 

La recopie de la m6moire d'un processus se fait en 
analysant dynamiquement 1 ' organisation memoire interne du 
processus et en isolant les diff§rentes zones : 

- texte 

- donn6es 

- pile d' execution 

L' analyse de la memoire est effectu^e sans intrusion 
dans le code utilisateur en s^appuyant sur les donnees 
fournies par le systeme d' exploitation (Operating System), 
Ces donnees sont capturees et analys6es dans le contexte meme 
du processus et permettent de creer la table des zones 
memoires utilisees. 

One fois 1' analyse termin6e, les agents d' interposition 
des appels systeme d' allocation/liberation m6moire assurent 
le suivi de 1* Evolution de la table des zones m6moires. 

Lors de la copie (dump) , seules les zones m6moire 
modifiables, c'est A dire accessibles en ecriture sont 
transferees sur le noeud stand-by ou elles seront recopiees. 
Ainsi le processus sur le noeud stand-by contient les m§mes 
zones memoires .avec les m§mes donn6es que sur le noeud 
operationnel . 

La sauvegarde du contenu de la m6moire devant §tre 
atomique du point de vue d'un processus^ elle doit se faire 
sans que le processus ne puisse en changer I'etat, done 
processus bloque. Afin de ne pas bloquer le processus trop 
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longtemps, on s'appuie sur le mecanisme de « Copy On Write » 
du systeme d' exploitation (primitive (fork) par exemple) pour 
creer une copie de 1' image memoire du processus et on 
transfert cette image vers les noeuds stand-by. Une fois le 
5 transfert terminer 1' image m6moire maintenue par les 
mecanismes de « Copy On Write » est supprim6e* 

Le procedfe de replication selon 1* invention met aussi en 
oeuvre un mecanisme de copie (dxunp) incrementale qui s'appuie 
sur 1' analyse m^moirer mais ajoute en plus un m§canisme de 

10 protection des pages en 6criture. 

Une fois 1' analyse des pages effectuee, toutes les pages 
accessibles en ecriture sont protegees, c'est k dire qu'une 
6criture dans une de ces pages declenche 1' emission d'un 
signal de violation de protection de pages. 

15 La protection s'appuie sur les mecanismes fournis par le 

systeme d' exploitation tel que l^appel systeme « mprotect ». 

Lorsque 1 ' application tente de modifier une donnee, la 
ou les pages contenant cette donnee sont marquees comme 
modifiees et d6protegees. Le deroulement du code applicatif 

20 n*est pas impacts par I'adjonction de ces mecanismes (non 
intrusivite) . 

Lors d'une copie (dump) incrementale, seules les pages 
modifiees depuis le pr6c6dent dump sont transferees. La copie 
(dump) terminee, toutes les pages modifiees sont re-proteg^es 

25 afin de detecter les prochaines ecritures. La copie (dump) 
incrementale permet de r6duire la taille des donn^es k 
transferer vers le stand-by ^ chaque copie (dump) . 

La gestion des declenchements des. points de reprise peut 
etre effectuee a partir de la base MIB qui re<?oit|. du noeud 

30 primaire ou operationnel, des informations sur les etats du 
systeme et de 1' application, des informations sur les 
evenements et call-back sur 1' application et des informations 
deiivrees par un analyseur d'etat synthetique, comme 
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1' illustre la figure 7. L' organisation du basculement de 
1' application du noeud primaire vers un nceud secondaire agit 
par exemple sur un dernier point de reprise EVENT ^ un dernier 
point de reprise PERIODIC, un enregistrement (logging) 
d' entree, et peut inclure : 

- le choix d'un scenario de basculement, 

- le choix d'^un point de reprise,. 

- le declenchement de la restauration, 

- le declenchement (ou non) du re-jeu du Log 

- la notification du nouveau ncBud op6rationnel . 

Bien sur, 1' invention n'est pas limitee aux exemples qui 
viennent d'etre deer its et de nombreux amenagements peuvent 
§tre apport^s k ces exemples sans sortir du cadre de 
1' invention. 
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REVENDICATIONS 



1- Precede pour repliquer une application logicielle dans una 
5 architecture multi-ordinateurs (cluster) , ladite application 
logicielle 6tant prealablement execut^e sur un premier 
ordinateur dudit cluster constituant un noeud prima ire et 
6tant destinee a etre repliquee sur au moins un autre 
ordinateur dudit cluster constituant un noeud secondaire^ 

10 comprenant une replication des ressources associees a ladite 
application logicielle, caract6ris6 en ce qu'il comprend une 
mise k jour au fil de l^eau desdites ressources r6pliqu6es 
par un m6canisme d' introspection dynamique prevu pour fourni 
la structure de 1 ' application a repliquer, et un graphe 

15 dynamique des ressources et dependances mises en ceuvre. 

2. Procede de replication selon la revendication 1, 
caracterise en ce qu'il comprend en outre une creation et une 
maintenance d'un arbre de dependance, qui fournit a chaque 

20 instant des informations sur les ressources qu'il est 
necessaire de r§pliquer, 

3. Proc6d6 de replication selon I'une des revendications 1 ou 
2, caracterise en ce qu'il comprend en outre un mecanisme de 

25 generation de point de reprise (« checkpointing ») , par 
lequel les ressources ^ repliquer sont repliquees sur un ou 
plusieurs noeuds secondaires. 

4. Precede de replication selon la revendication 3, 
30 caracterise en ce qu'il comprend trois etapes : 

- capture des ressources sur le noeud primaire. 
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- transfert par le reseau vers uri ou plusieurs nceuds 

secondaires, et 

- restauration sur le ou les nceuds secondaires- 

5. Precede de replication selon I'une quelconque des 
revendi cat ions precedentes, caract6ris6 en ce que les 
ressources replic[u6es incluent : 

- la memoire virtuelle de chaque processus concern^ 
ainsi que sa pile d'appel, 

- des ressources syst^mes (inter process communication, 
connexion r6seau, etc.)/ et 

- des donnees ecrites sur disques. 

6. Procede de replication selon I'une quelconque des 
revendi cat ions precedentes et la revendication 3^ caracterise 
en ce qu'il comprend en outre un mecanisme d* optimisation du 
mfecanisme de generation de point de reprise . 

7. Proc6de de replication selon la revendication :6, 
caract6ris6 en ce que le mecanisme de « checkpointing » est 
incremental- 

8. Proc6d6 de replication selon l*une des revendications 6 ou 
If caracterise en ce que le mecanisme de « checkpointing » 
est discriminant • 

9. Precede de replication selon I'une des revendications 6 k 
8, caracterise en ce que le mecanisme de « checkpointing » 
inclut au moins I'une des fonctions suivantes : 

- une barriere de synchronisation de processus (PSB) , 

- une gestion de ressources (RM) , 

- une gestion de ressources systeme (SRM)ret 
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- une gestion de ressources de processus (PRM) . 

10. Precede de replication selon I'une quelconque des 
revendications pr^c^dentes, caract6ris6 en ce qu'il coraprend 
5 en outre un mecanisme de replication de fichiers de donn6es 
applicatives entre un noeud opSrationnel (OP) sur lequel 
1 ' application est ex^cutee et un noeud dit de stand-by (SB) . 



10 



15 



11. Procedd pour r6aliser une continuite de f onctionnement 
d'une application logicielle dans une architecture raulti- 
ordinateurs (cluster), cette application etant execut^e A un 
instant donne sur I'un des ordinateurs du cluster, appel6 
nceud primaire ou operationnel, les autres ordinateurs dudit 
cluster 6tant appeles nceuds secondaires, ce precede mettant 
en oeuvre le precede de replication selon I'une quelconque des 
revendications precedent es, 

caract^rise en ce qu'il comprend les Stapes suivantes : 

- replication de 1 • application sur au moins des noeuds 
secondaires, de fagon ^ r^aliser au moins un clone de ladite 

20 application, 

- mise k jour au fil de I'eau dudit ou desdits clones, 

et 

- en cas de detection d'une d6f alliance ou d'un 
evenement affectant ledit noeud operationnel, basculement de 

25 service vers I'un au moins desdits clones. 



30 



12. Precede de continuite de f onctionnement selon la 
revendication 11, caracterise en ce que la replication de 
1 ' application est de nature holistique. 
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13. Precede de continuite de f onctionnement selon l*une 
revendication 11 ou 12, caract^rise en ce qu*il coiaprend en 
outre une mise a jour des clones de 1 ' application • 

14. Precede de continuite de f onctionnement selon I'une des 
revendi cat ions 11 a 13 , caracterise en ce qu'il comprend en 
outre une supervision de l'6tat de ressources n6cessairement 
au f onctionnement de 1* application. 

15. Proc6d6 de continuity de f onctionnement selon I'une des 
revendications 11 a 14, caract§ris6 en ce qu'il comprend en 
outre, k la suite d'une detection d'une def alliance ou d'un 
6venement affectant le noeud operationnel, une fetape pour 
elire, parmi des clones installes sur des noeuds secondaires, 
un clone pour §tre substitu6 k 1 ' application initiale, le 
noeud sur lequel ledit clone elu est install^ devenant. le 
nouveau noeud operationnel. 

16. Proced6 de continuite de f onctionnement selon I'une^des 
revendications 11 ^ 15 , caracterise en ce qu^il comprend en 
outre un enregistrement sur chaque clone de messages regus 
par le noeud primaire ou operationnel, ces messages 6tant 
r6inject6s dans le clone 61u nouvel op6rationnel en cas de 
basculement . 

17. Systeme multi-ordinateurs pr6vu pour ex6cuter sur au 
moins desdits ordinateurs au moins une application 
logicielle, implementant le precede pour realiser une 
continuite de f onctionnement selon l*une quelconque des 
revendications 11 a 16. 

18. Application du proc6d6 de replication selon I'une 
quelconque des revendications 1 a 10, pour une optimisation 
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automatique de ressources inf ormatiques par partage de charge 
par repartition dynamique de processus. 

19. Application du precede de replication selon I'une 
quelconque des revendications 1 ^ 10,. pour une maintenance 
non interruptive par relocation a la deraande de processus au 
travers d'un r6seau de ressources inf ormatiques . 

20. Application du precede de replication selon I'une 
quelconque des revendications 1 a 10, pour une preservation 
de contexte applicatif dans des applications mobiles. 
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VERTES 


Pr§noms 


Marc 


Adresse 


Rue 


57, rue de Terris 




Code postal et vIHe 


13 1 1 i8 ^3 |0 1 PLAISANCE DU TOUCH 


Soci^te d'appartenance (factdtaiif) 




^ Nom 


DUFOUR 


Prdnoms 


Laurent 


Adresse 


Rue 


3, impasse des Noisetiers 




Code postal etville 


13 |1 |8 i3 lO 1 PLAISANCE DU TOUCH 


Societe d'appartenance (facuUatif) 






RICHARD 


Pr^noms 


Frangols 


Adresse 


Rue 


2, impasse des Garrabiers 




Code postal et vllle 


13 1 1 1 1 i2 lO 1 LACROIX FALGARDE 


Soci^^ d'appartenance (fiicuUaHf) 




S'il y a plus de trois Inventeurs, utilisez plusieurs fbrmulaires. Indiquez en haut a drorte le N° de la page suM du nombre de pages. 


DATE ET SIGi^ATURE(S) 
DU (DES) DEIVIANDEUR(S) 
OU DU MANDATAIRE 
(Nom et qualite du signataire) 




Orsay. le 7 Mars 2003 




Sylvain ALLANO 
CPI 96 03 03 





La loi n**78-17 du 6 Janvier 1978 relative d I'infonnatlque. aux fichiers et aux libertes s'applique aux r6ponses faites S ce formulaire. 



IN>I 



■ INSmOT 
NAnQMALOf 
LA raOPQIETB 
mODSTBICIXS 



DEPARTEMENT DES BREVETS 

26 bis, rue de Saint Petersbourg 
75800 Paris Cedex 08 

Telephone : 33 (1) 53 04 53 04 Telteopie : 33 (1) 42 94 86 54 



BREVET D'INVENTION 
CERTIFICAT D'UTILITE 

Code de la propri6td inteOectuelle - Uvre VI 

DESIGNATION D'INVENTEUR(S) Page N» 2. ./2. 

(A foumir dans le cas ou les demandeurs et 

les inventeurs ne sont pas les memes personnes) 




11235*03 



INV 



Cet imprimS est d remplir lisiblement k I'encre noire 



OB 113 9 W/ 270601 



Vos references pour ce dossier (facuUaHJ) 


IFB02 CMI REP 


N"* D'ENREGISTREMENT NATIONAL 


02 09855 



TITRE DE L'INVENTION (200 caracteres ou espaces maxiinum) 

Precede de replication d'une application logicielle dans une 
architecture multi-ordinateur s , precede pour realiser une 
continuite de f onctionnement mettant en oeuvre ce precede de 
replication, et systeme multi-ordinateurs ainsi equipe. 



LE(S) DEMANDEUR(S) : 

MEIOSYS 

Centre Industrial d'lnnovation de Basso Cannbo 
42, avenue du General de Croutte 
31100 TOULOUSE 
FRANCE 



DESiGNE(NT) EN TANT QU'iNVENTEUR(8) : 



g| Nom 


KURZ 


PrSnoms 


Gregory 


Adresse 


Rue 


56, route de Tarbes 


Code postal et ville 


13 1 1 f 1 ,7 lO I TOURNEFEUILLE 


Societe d'appartenance (facuUatif) 




S3 Nom 




Pr^noms 




Adresse 


Rue 




Code postal et ville 


1 f I 1 ] 1 


Societe d'appartenance (facullatij) 




£1 Nom 




Prenoms 




Adresse 


Rue 




Code postal et ville 


1 1 1 1 1 1 


Societe d'appartenance (facuUcnif) 





S'll y a plus de trois inventeurs, utilfsez plusieurs formulaires. Indiquez en haut a drohe le N"* de la page suM du nombre de pages. 



DATE ET SIGNATURE(S) 
DU (DES) DEIVIANDEUR(S) 
OU DU MANDATAIRE 
(Nom et qualM du signataire) 

Orsay, le 7 Mars 2003 

Sylvain ALLANO 
CPI 96 03 03 

La loi n°78-17 du 6 Janvier 1978 relative a Tinformatique, aux fichiers et aux libert^s s'applique aux reponses faites d ce formulaire. 
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